Day16 –爬蟲的類型 - iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

2022 iThome 鐵人賽

DAY 16

1

AI & Data

Python網路爬蟲系列第 16 篇

Day16 –爬蟲的類型

14th鐵人賽

2022-10-01 22:33:04

521 瀏覽

分享至

爬蟲根據結構、技術和目的區分：

通用網路爬蟲：

主要是搜集每個網站的特色，爬取的範圍和數據量也比較龐大。
也可以稱為搜尋引擎。
例如google, yahoo, 百度……

聚焦網路爬蟲：

又叫做主題網路爬蟲，主要是依據需求，選擇性地爬取頁面。

增量網路爬蟲：

可以減少數據下載量、節省時間和儲存空間，主要只爬取更新的頁面，但也因此需要比較複雜的演算法，目前較少在使用。

深層網路爬蟲：

爬取較深層的網頁，例如像是提交表單後才會出現的網頁訊息、需要帳號密碼頁面……這些無法從靜態的網頁取得的資訊。

雖然這邊分為四種類型，但聚焦網路爬蟲、增量網路爬蟲、深層網路爬蟲都是有目的並執行定向爬取數據，可以分為一大類。

總結：

爬蟲可以分為通用網路爬蟲和聚焦網路爬蟲。
通用網路爬蟲可被稱為搜尋引擎。
一般所稱的網路爬蟲都是聚焦網路爬蟲。

Day15 –Python應用在json檔案

Day17 –網路爬蟲PTT - 1（跳過cookies）

系列文

Python網路爬蟲共 30 篇

目錄

RSS系列文訂閱系列文

10 人訂閱

完整目錄

直播研討會

{{ item.subject }}

{{ item.channelVendor }} {{ item.webinarstarted }} |

{{ formatDate(item.duration) }}

直播中

尚未有邦友留言

立即登入留言

參賽組數

1064 組

團體組數

40 組

累計文章數

22196 篇

完賽人數

602 人

15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# windows server linux css react vue.js

IT邦幫忙